L'application Tianyancha indique que Tencent Technology (Shenzhen) Co., Ltd. a récemment déposé un brevet intitulé « Méthode d'entraînement, dispositif, équipement informatique et support de stockage de modèle linguistique volumineux ». Le résumé de ce brevet révèle que cette méthode, en introduisant un premier texte de résumé et un second texte de résumé, fournit au modèle davantage d'informations exploitables pendant le processus d'entraînement du modèle linguistique volumineux. Selon la description du brevet, les quantités d'informations contenues dans le premier texte de résumé et le second texte de résumé sont différentes, le premier texte de résumé contenant également des phrases correctes et des phrases incorrectes. Grâce à ces deux descriptions du même texte,

Tencent Technology (Shenzhen) Co., Ltd. a récemment publié sur l'application Tianyancha un brevet concernant une méthode d'entraînement de modèle linguistique de grande taille et les équipements associés. Ce brevet, intitulé « Méthode d'entraînement, dispositif, équipement informatique et support de stockage pour les modèles linguistiques de grande taille », vise à améliorer les capacités d'apprentissage et la précision des modèles linguistiques de grande taille grâce à des méthodes d'entraînement innovantes. Dans l'entraînement des modèles linguistiques de grande taille, les méthodes traditionnelles reposent souvent sur un seul résumé de texte, ce qui peut entraîner un surajustement du modèle et affecter la précision et la diversité du contenu généré. Cependant, la nouvelle approche de Tencent...

ByteDance a récemment répondu aux rumeurs concernant un "sabotage d'un entraînement de modèle linguistique par un stagiaire". La société a confirmé qu'un stagiaire avait effectivement malicieusement perturbé l'entraînement d'un modèle de recherche pour une équipe technique commerciale, mais que cet acte n'avait pas affecté les projets commerciaux officiels ni les activités en ligne de l'entreprise, et n'impliquait aucun autre projet de modèle linguistique de ByteDance. De plus, ByteDance a indiqué que les informations circulant sur le web, mentionnant "plus de 8000 cartes et des pertes de plusieurs millions de dollars", étaient largement exagérées. Selon les informations publiques, le stagiaire travaillait au sein de l'équipe technique commerciale de ByteDance.

La plateforme de réseau social X (anciennement Twitter) a mis à jour sa politique de confidentialité mercredi, suscitant un intérêt et des débats importants. La nouvelle politique indique que X autorisera par défaut les « partenaires » tiers à utiliser les données de la plateforme pour entraîner des modèles d'IA, sauf si les utilisateurs choisissent de se retirer activement. Cette décision met en lumière les efforts de X pour trouver de nouvelles sources de revenus, mais suscite également des inquiétudes quant à la protection de la vie privée des utilisateurs. Les principaux changements apportés à la nouvelle politique incluent : Utilisation des données par des tiers : une nouvelle clause autorise les partenaires tiers à utiliser les données des utilisateurs X, y compris pour l'entraînement de modèles d'IA. Les utilisateurs peuvent choisir

Meta a récemment confirmé que les photos et vidéos prises avec les lunettes intelligentes Ray-Ban Meta pourraient être utilisées pour entraîner ses modèles d’IA. Cette pratique suscite des inquiétudes, car les utilisateurs ignorent potentiellement qu’ils fournissent à Meta une quantité importante d’images pour l’entraînement de ses modèles d’IA, images qui peuvent contenir des informations sur leur intérieur, leurs proches ou des documents personnels. Emil Vazquez, responsable de la communication politique chez Meta, a déclaré que dans les régions où l’IA multimodale est disponible, l’utilisation…

Une équipe de l'Université de Pékin et de l'Université de Science et Technologie de Hong Kong a fait une grande annonce : ils ont proposé une méthode d'entraînement qui permet à un modèle d'expert médical de 8 B d'atteindre les performances de GPT-4. Ce n'est pas une mince affaire, ils ont également introduit un nouveau concept, l'« écart de stabilité », pour expliquer certains phénomènes observés dans les grands modèles de langage lors du pré-entraînement continu.

Midjourney a annoncé hier soir son projet d'entraînement d'un modèle vidéo à partir de janvier. La version V6 apportera des améliorations significatives, notamment une meilleure gestion du texte, une cohérence accrue du contenu et une précision améliorée. L'amélioration de la fonction Inpainting est une priorité pour la version V6, et l'ajusteur de style pourrait offrir une toute nouvelle expérience. La version V7 promet des mises à jour majeures, indiquant que Midjourney deviendra un concurrent de poids dans le domaine de la génération de vidéos. L'article relate les dernières nouvelles de Midjourney.

Selon la chercheuse Ellie Pavlick, entraîner des modèles linguistiques miniatures est comparable au séquençage du génome d'une drosophile plutôt que du génome humain. Les chercheurs de Microsoft ont obtenu des résultats significatifs en entraînant des modèles linguistiques miniatures sur des contes pour enfants. Comparés aux grands modèles linguistiques, les modèles miniatures s'entraînent plus rapidement et leur fonctionnement interne est plus facile à comprendre. Cette approche contribue à la formation de modèles plus grands et à l'analyse de leur comportement. Les résultats de la recherche montrent que, après un entraînement sur des contes pour enfants, les modèles linguistiques miniatures sont capables de raconter des histoires cohérentes et grammaticalement correctes.

L'Institut d'Intelligence Artificielle de Pékin (BAAI) a publié MTP, le plus grand ensemble de données d'entraînement de modèles de vecteurs sémantiques chinois-anglais au monde, avec une taille de données atteignant 300 millions de paires. MTP est l'ensemble de données open source le plus vaste de paires de textes chinois-anglais corrélés, fournissant une base importante pour l'entraînement de modèles de vecteurs sémantiques. L'ensemble de données comprend des paires de textes chinois-anglais provenant de plusieurs sources, couvrant divers types tels que les questions-réponses, les commentaires et les actualités. L'Institut d'Intelligence Artificielle de Pékin a déclaré que les données jouent un rôle crucial dans l'entraînement des grands modèles, ce qui stimulera l'innovation collaborative en intelligence artificielle. La publication de cet ensemble de données devrait permettre de résoudre les problèmes liés à l'entraînement des modèles en chinois.